8장. 데이터셋 엔지니어링

출처: AI 엔지니어링 (Chip Huyen, 한국어판) 8장, pp.426–471

모델의 품질은 학습 데이터의 품질에 달려 있다. 무한한 컴퓨팅 자원을 가진 세계 최고의 ML 팀이라도 데이터가 없으면 좋은 모델을 파인튜닝할 수 없다. 이 장은 데이터 큐레이션(품질·커버리지·양), 데이터 수집과 주석, 합성 데이터 생성, 모델 증류, 데이터 처리(중복 제거·정리·형식 맞추기)까지 파인튜닝용 데이터셋을 만드는 원칙과 실전 기법을 다룬다.

학습 목표

이 장을 끝내면 다음을 할 수 있다.

• 모델 학습 성능의 핵심이 데이터 품질임을 설명하고, 데이터 중심 AI와 모델 중심 AI의 차이점을 구분할 수 있다.
• 데이터 품질의 6가지 기준(관련성·작업 요구사항 부합·일관성·올바른 형식·충분한 고유성·규정 준수)을 평가하고, 주어진 데이터셋에 적용할 수 있다.
• CoT 데이터·도구 사용 데이터·싱글 턴/멀티 턴 데이터의 차이를 이해하고 각 상황에 맞는 수집 전략을 설계할 수 있다.
• 규칙 기반 합성, 데이터 증강, 섭동, 시뮬레이션, AI 기반 합성(바꿔쓰기·지시 합성·역지시·코드 파이프라인) 등 각 합성 기법의 원리와 장단점을 비교할 수 있다.
• 합성 데이터 검증 방법(기능적 정확성·AI 검증기·휴리스틱)과 AI 생성 데이터의 4가지 한계를 설명할 수 있다.
• 데이터 처리 파이프라인의 4단계(검사·중복 제거·정리 및 필터링·형식 맞추기)를 수행하고, 모델 증류 시 라이선스 검증의 중요성을 이해할 수 있다.

전체 흐름도

이 장의 핵심은 "어떤 데이터를 어떻게 모으고, 정제하고, 검증하여 모델 학습에 넣는가" 다.

[ 목표 행동 정의 ]
      │  "모델이 무엇을 학습했으면 하는가" 먼저 확정
      ▼
[ 데이터 수집 ]
      │
      ├─ 자체 애플리케이션 데이터    (최우선 — 과제와 완벽히 관련)
      ├─ 공개 데이터셋               (허깅페이스·캐글·구글 Dataset Search 등)
      │    └─ 라이선스·출처 확인 필수 (상업용 허용 여부, 내부 데이터 점검)
      └─ 합성 데이터 생성            (양·커버리지 보강 + 희귀 사건 대응)
            │
            ├─ 규칙 기반 / 데이터 증강 / 섭동 / 시뮬레이션 (전통적)
            └─ AI 기반 (바꿔쓰기·번역·지시 합성·역지시·코드 파이프라인)
                  └─ 데이터 검증: 기능적 정확성 / AI 검증기 / 휴리스틱
      ▼
[ 데이터 처리 ]
      │
      ├─ (1) 데이터 검사    — 분포·이상값·주석자 간 불일치 파악 (직접 보기 필수)
      ├─ (2) 중복 제거      — 쌍대 비교·MinHash·Bloom Filter·차원 축소
      ├─ (3) 정리 및 필터링 — HTML 태그·PII·저작권·유해 데이터 제거, 능동 학습
      └─ (4) 형식 맞추기   — 채팅 템플릿 일치, (지시, 응답) 구조 확정
                              파인튜닝 후 추론 프롬프트와 형식 일치 확인
      ▼
[ 모델 학습 투입 ]
      │
      ├─ 사전 학습       — 웹 규모, 다양한 도메인 (양을 토큰 수로 측정)
      ├─ 지도 파인튜닝(SFT) — (지시, 응답) 쌍, 품질 우선 (양을 예시 수로 측정)
      └─ 선호도 파인튜닝   — (지시, 선호 응답, 비선호 응답), 행동 교정

  핵심 긴장:  "더 많은 데이터  vs  더 좋은 데이터"
              → LIMA 법칙: 1,000개 고품질 > 수십만 개 노이즈
              → 경화(Ossification): 데이터가 많을 때 처음부터 학습이 파인튜닝보다 나을 수 있음

0. 사전 필수 용어

참고 — 이 장의 용어들은 7장(파인튜닝)과 긴밀히 연결된다. 파인튜닝 기법(LoRA·SFT·RLHF)을 먼저 이해하면 데이터 요구사항의 차이를 더 잘 파악할 수 있다.

• 데이터 큐레이션(Data Curation) — 모델 학습에 적합한 데이터를 선별·정제하는 전 과정.
• 데이터 합성(Data Synthesis) — 실제 데이터의 특성을 모방하는 데이터를 프로그래밍으로 생성하는 것. 데이터 증강(기존 실제 데이터 변형)과 구분하지만 실무에서는 통칭으로 쓴다.
• 데이터 증강(Data Augmentation) — 기존 실제 데이터에서 새로운 데이터를 만드는 것. 이미지 회전·자르기, 텍스트 동의어 교체 등이 해당한다.
• 지시 파인튜닝(Instruction Fine-tuning) — (지시, 응답) 쌍 형식으로 모델이 사용자 지시를 따르도록 학습시키는 사후 학습 기법.
• 모델 증류(Model Distillation) — 큰 교사 모델의 지식을 작은 학생 모델로 전달하는 기법.
• 데이터 계보(Data Provenance) — 데이터가 어디서 왔고 어떻게 처리됐는지 추적하는 것. AI 생성 데이터가 늘수록 저작권·오염 문제와 직결된다.
• 모델 붕괴(Model Collapse) — AI 생성 데이터를 반복 학습하면 희귀 사건을 점점 잊어버리고 성능이 저하되는 현상.
• 경화(Ossification) — 사전 학습이 모델 가중치를 경화시켜 파인튜닝 데이터에 잘 적응하지 못하게 만드는 현상.
• 역지시(Reverse Instruction) — 기존 고품질 콘텐츠에서 AI로 그 콘텐츠를 유도하는 프롬프트를 역생성하는 기법.
• 셀프플레이(Self-play) — AI 모델이 자기 자신과 게임하면서 전략을 발전시키는 시뮬레이션 방식. OpenAI Dota 2 봇과 딥마인드 알파고가 대표 사례다.
• 절차적 생성(Procedural Generation) — 사람이 직접 만드는 게 아니라 알고리즘으로 데이터를 생성하는 방식.

1. 데이터의 중요성과 데이터 중심 AI

AI 개발에서 데이터의 비중은 계속 커지고 있다. 오픈AI의 초기 대형 언어 모델 논문(2020) 기여자 중 데이터를 담당한 사람은 단 두 명이었지만, 3년 후 오픈AI의 후속 초대형 모델 논문(2023)에서는 무려 80명이 데이터 처리 작업에 참여했다. 데이터 운영은 더 이상 부수적인 업무가 아니라 전문 역할로 자리 잡았다.

모델 중심 AI vs 데이터 중심 AI. 모델 중심 AI는 모델 자체를 개선해서 AI 성능을 올리는 방식이다. 데이터 중심 AI는 데이터를 개선해서 AI 성능을 올리는 방식이다. 딥러닝 초기에는 AI 벤치마크 대부분이 모델 중심이었다. 최근에는 데이터 중심 벤치마크가 늘고 있다.

참고 — 앤드류 응(2021) 데이터 중심 AI 경진대회: 잘못된 레이블 수정, 엣지 케이스 예시 추가, 데이터 증강 등으로 같은 기본 데이터를 개선해야 했다. DataComp(2023)는 표준화된 CLIP 모델(논문 발표 당시 기준)로 어떤 데이터셋이 최고 성능을 내는지 경쟁하는 대회다. 2024년에는 4억~70억 파라미터 언어 모델용 데이터셋 평가로 확장됐다(Li et al., 2024). 유사 벤치마크로 DataPerf(MLCommons, 2023)와 dcbench도 있다.

라마 3의 사례. 메타는 라마 3 논문에서 모델 아키텍처는 이전 버전들과 크게 다르지 않다고 밝혔다. 라마 3의 성능 향상은 주로 데이터 품질과 다양성 개선, 늘어난 학습 규모에 의해 이뤄졌다.

2. 데이터 큐레이션 — 품질·커버리지·양

데이터 큐레이션을 요리에 비유하면 명확해진다. 모델에 넣는 데이터는 재료고, 데이터 품질은 재료의 신선도, 데이터 커버리지는 적절한 재료 조합, 데이터 양은 재료의 분량이다.

2.1 데이터 품질

적은 양의 고품질 데이터가 많은 양의 노이즈 있는 데이터보다 좋은 성능을 낼 수 있다.

잘못된 예 (저품질 데이터 특성)

• 모델 과제와 관련 없는 데이터 포함 (19세기 법률 데이터로 현재 법률 QA 학습)
• 주석이 작업 요구사항과 맞지 않음 (간결한 응답 과제에 장황한 주석)
• 주석자들 간 불일치 (같은 예시에 크게 다른 점수)
• HTML 태그나 불필요한 형식 토큰 포함
• 과도한 중복 예시 (0.1%를 100번 반복하면 성능이 절반 수준으로 추락)
• PII 데이터 포함

올바른 예 (고품질 데이터 6기준)

1. 관련성(Relevant) — 학습 예시가 모델이 풀어야 할 과제와 관련이 있어야 한다.
2. 작업 요구사항 부합(Aligned with task requirement) — 주석이 과제 요구에 맞아야 한다. "정확한" 또는 "올바른" 대신 "부합"이라는 표현을 쓰는 이유는 과제에 따라 정확한 응답이 아닌 다른 형태가 필요할 수 있기 때문이다.
3. 일관성(Consistent) — 예시들끼리, 주석자들 간에 일관되어야 한다.
4. 올바른 형식(Correctly formatted) — 뒤쪽 공백, 줄바꿈, 불필요한 HTML 태그 같은 형식 토큰이 없어야 한다.
5. 충분한 고유성(Unique) — 중복 예시는 편향을 만들고 데이터 오염을 일으킨다.
6. 규정 준수(Compliant) — PII 같은 민감 데이터가 포함돼선 안 된다.

적은 양의 고품질 데이터의 위력. Yi 모델 연구팀은 신중하게 만든 1만 개의 지시가 수십만 개의 노이즈 있는 지시보다 훨씬 낫다는 것을 발견했다(Young et al., 2024). LIMA 논문(Zhou et al., 2023)은 신중하게 큐레이션된 1,000개의 프롬프트와 응답으로 파인튜닝한 650억 파라미터 라마 모델이 사람 주석자 기준으로 43%의 경우에 당시 최상급 상용 모델(논문 발표 당시 기준)과 비슷하거나 더 좋은 답을 만들었음을 보여줬다.

2.2 데이터 커버리지

커버리지는 모델이 풀어야 할 문제들의 범위를 얼마나 포괄하는지를 말한다. 좋은 커버리지를 확보하려면 데이터의 다양성이 필수다. 데이터 다양성(data diversity)이라고도 부른다.

다양성은 과제 종류(요약·질의응답 등), 주제 다양성(패션·금융·기술 등), 출력 형식(JSON 출력·예/아니오 응답·개방형 응답 등), 다양한 출력 길이, 오타가 있는 예시, 여러 프로그래밍 언어 등으로 나타날 수 있다.

라마 3의 도메인 비율 (학습 단계별 차이)

흥미로운 점은 사전 학습과 지도 파인튜닝에서 수학, 추론, 코드 토큰을 모두 합치면 학습 데이터의 거의 절반을 차지한다는 것이다. 라마 3 연구자들은 소량의 고품질 코드와 수학 데이터로 모델을 어닐링하면 주요 벤치마크에서 모델 성능을 높일 수 있다고 밝혔다. 선호도 파인튜닝에서 코드와 수학 비중이 훨씬 적은 것(합계 12.82%)은 실제 사용자 선호도 분포를 반영하는 것으로 보인다.

참고 — 데이터 추가가 항상 성능을 높이는 건 아니다. Shen 등의 연구(2024) "The Data Addition Dilemma"는 경우에 따라 이질적인 데이터를 추가하면 오히려 성능이 나빠질 수 있다는 것을 보여줬다.

고품질이면서 다양한 데이터셋의 우위. Zhou 등(2023)은 같은 크기(2,000개 예시)지만 특성이 다른 세 데이터셋으로 70억 파라미터 모델을 학습시켰다. 고품질이면서 다양한 데이터셋으로 파인튜닝한 모델이 압도적으로 좋은 성능을 보였다.

2.3 데이터 양

"얼마나 많은 데이터가 필요한가"는 "얼마나 많은 돈이 필요한가"와 같다 — 상황에 따라 답이 완전히 달라진다. 한쪽에서는 제레미 하워드와 조나단 휘태커가 LLM이 예시 하나만으로도 학습할 수 있다는 실험을 했다. 반대쪽에서는 여전히 수백만 개의 예시로 파인튜닝하는 팀들도 있다. 라마 2와 라마 3는 각각 2조 개와 16조 개의 토큰으로 학습했다.

참고 — 경화(Ossification): 수백만 개의 예시가 있다면 처음부터 학습시키는 게 좋을 수도 있다. 사전 학습이 모델 가중치를 경화시켜 파인튜닝 데이터에 잘 적응하지 못하게 만들 수 있다(Hernandez et al., 2021). 작은 모델일수록 이런 경화 현상에 더 취약하다.

데이터 양을 결정하는 3가지 요소

1. 파인튜닝 기법 — 전체 파인튜닝은 LoRA 같은 PEFT보다 몇 배나 많은 데이터가 필요하다.
2. 과제 복잡성 — 간단한 분류는 복잡한 질의응답보다 훨씬 적은 데이터로 충분하다.
3. 기본 모델 성능 — 기본 모델이 원하는 성능에 가까울수록 필요한 예시가 적다.

실용 팁: 소규모 실험 먼저. 대규모 데이터셋 구축에 투자하기 전에, 잘 만들어진 소규모 데이터셋(50~100개 예시)으로 파인튜닝이 모델을 개선할 수 있는지 확인하라. 현재 데이터셋의 25%, 50%, 100%로 모델을 학습시키고 데이터셋 크기에 따른 성능 변화 곡선을 그려보라.

저품질 데이터 → 고품질 데이터 순차 파인튜닝 전략: 예시: - 자기 지도 학습 → 지도 학습 (법률 문서로 먼저 학습 후 (질의, 응답) 쌍으로 파인튜닝) - 관련성 낮은 데이터 → 관련성 높은 데이터 (트윗 감정 분류 먼저 후 제품 감정 분류) - 합성 데이터 → 실제 데이터 (단, 두 번의 파인튜닝 전환을 잘 조율하지 못하면 오히려 더 나쁜 결과가 나올 수 있다)

3. 데이터 수집과 주석

데이터 수집의 핵심은 자체 애플리케이션 데이터다. 사용자가 만든 데이터는 과제와 완벽하게 관련이 있어서 이상적이다. 이런 데이터 플라이휠을 구축한 회사는 상당한 경쟁 우위를 얻는다.

공개 데이터셋 리소스. 공개 데이터셋을 쓰기 전에 항상 라이선스를 확인하자.

CoT(생각의 사슬) 데이터. CoT 프롬프팅이 효과를 내려면 학습 데이터에 단계별 응답이 들어 있어야 한다. Chung 등(2024) 연구에 따르면 파인튜닝 데이터에 단계별 응답을 넣으면 여러 크기의 모델들이 CoT 작업에서 훨씬 좋은 성능을 보이고, 어떤 작업에서는 정확도가 거의 두 배까지 올라간다.

도구 사용 데이터. 사람에게 효율적인 방법이 AI에게도 효율적인 건 아니다 — 사람이 만든 주석이 AI 에이전트에게는 최적이 아닐 수 있다. 사람은 브라우저를 열고 검색창을 클릭하지만, 모델은 그냥 검색 API에 질의를 보내고 모든 결과를 한꺼번에 처리할 수 있다. 라마 3 연구자들은 각 메시지의 출처와 목적지를 표시하는 메시지 헤더와 특별한 종료 토큰으로 구성된 멀티메시지 채팅 형식을 설계했다.

싱글 턴 vs 멀티 턴 데이터.

실제 세상의 대부분의 작업은 주고받기를 포함하므로 멀티 턴 데이터가 점점 중요해지고 있다.

나쁜 행동 지우기. 데이터 큐레이션은 새 데이터를 추가하는 것만이 아니라 나쁜 행동을 잊게 하려고 기존 데이터를 제거하는 것도 포함한다.

주석 가이드라인. LinkedIn을 비롯한 여러 팀들이 주석 가이드라인이 AI 엔지니어링 파이프라인에서 가장 까다로운 부분 중 하나였다고 했다. 주석 가이드라인은 4장에서 다룬 평가 데이터용 가이드라인과 같다 — 평가 가이드라인에 투자하면 데이터 큐레이션에도 함께 활용할 수 있다.

4. 데이터 합성 — 이유와 전통적 기법

데이터 증강과 합성 모두 데이터 생성을 자동화하는 것이 목표라서 때로는 두 용어를 같은 의미로 사용하기도 한다.

데이터 합성을 하는 5가지 이유

1. 데이터 양 늘리기 — 희귀한 날씨 상황, 심해 탐사, 자율주행차 사고 같은 실제 데이터를 구하기 어려운 경우
2. 데이터 커버리지 늘리기 — 클래스 불균형 해결, 적대적 예시 생성. Perez 등(2022) 연구에서 앤트로픽은 154가지 AI 행동을 테스트할 수 있는 데이터셋을 LM으로 만들었는데, LM이 만든 데이터셋이 사람이 만든 것만큼 좋거나 더 나은 품질을 보였다.
3. 데이터 품질 향상 — AI는 평균적인 사람 전문가보다 훨씬 더 복잡한 수학 문제를 만들 수 있다.
4. 프라이버시 문제 해결 — 의료 기록, 보험 청구 데이터 같은 민감 데이터를 합성으로 대체
5. 모델 증류 — 교사 모델의 출력으로 학생 모델을 학습

4.1 규칙 기반 합성

미리 정해둔 규칙과 템플릿을 사용해 데이터를 생성한다. 절차적 생성(Procedural generation)이라고도 부른다. Faker, Chance 같은 라이브러리로 신용카드 거래 내역, 이력서, 청구서, 계약서 같은 구조화된 문서를 만들 수 있다. 딥마인드는 1억 개의 합성 예시로 올림피아드 수준의 기하학 모델 AlphaGeometry를 학습시켰다(Trinh et al., 2024).

4.2 데이터 증강

기존 데이터에 간단한 변형을 가해 새 데이터를 생성한다. AlexNet 논문(Krizhevsky et al., 2012)에서 이미지넷 데이터셋 증강으로 얼마나 유용한지 보여줬다.

• 이미지: 회전, 자르기, 크기 변경, 일부 지우기, 밝기 조정, 눈 효과, 대비 변경
• 텍스트: 동의어 교체(유의어 사전 또는 단어 임베딩 공간 활용), 역번역
• 편향 감소: 'she'를 'he'로 교체하거나 직업명을 반대 성별로 치환하여 성별 편향을 줄임

4.3 섭동(Perturbation)

기존 데이터에 노이즈를 넣어 새 데이터를 생성한다. One Pixel Attack 논문(Su et al., 2017)은 Kaggle CIFAR-10 테스트 이미지의 67.97%와 ImageNet 이미지의 16.04%가 픽셀 하나만 바꿔도 잘못 분류될 수 있다는 것을 보여줬다. 이를 악용하면 자율주행차가 중앙 분리대를 차선으로 착각하게 할 수 있다. 반면 섭동된 데이터로 모델을 학습시키면 공격에 더 견고한 모델을 만들 수 있다. BERT 학습 시 토큰의 1.5%를 무작위 단어로 교체하는 방식도 성능을 조금 높여준다(Devlin et al., 2018). Hendrycks와 Dietterich(2019)는 15가지 시각적 왜곡으로 ImageNet-C와 ImageNet-P를 만들었다.

4.4 시뮬레이션

실제 세계에서 실험하기 어렵거나 위험한 상황을 가상으로 재현한다. Sim2Real은 시뮬레이션에서 학습한 알고리즘을 실제 세계에 적용하는 데 초점을 맞춘 분야다.

• 자율주행: CARLA, 웨이모 SimulationCity, 테슬라 샌프란시스코 시뮬레이션
• 게임: OpenAI Dota 2 봇(매일 약 180년치 게임으로 셀프플레이 학습, OpenAI 2019)
• 바둑: 딥마인드 알파고(셀프플레이로 수백만 번의 바둑 게임 데이터, Silver et al., 2016)
• 금융: IPO, 대규모 파산 시나리오 시뮬레이션
• 제조: 재료·부품 결함 시뮬레이션 (이상 탐지·품질 관리 모델 학습)
• 기후: 지구 시스템 시뮬레이션 (온도 변화·강수 패턴·극한 날씨)

5. AI 기반 데이터 합성

강력한 AI 모델 덕분에 합성 데이터의 현실성과 복잡성이 크게 높아졌다. AI는 자연어뿐만 아니라 코드, API 응답, 사람의 행동도 시뮬레이션할 수 있다. StableToolBench(Guo et al., 2024)는 비용이 많이 들거나 느릴 수 있는 실제 API 호출 대신 AI로 API 호출의 예상 결과를 시뮬레이션하는 방법을 보여준다. Cosmopedia(Allal et al., 2024)는 오픈 소스 언어 모델(논문 발표 당시 기준)이 생성한 합성 교과서·블로그·스토리 등 250억 토큰 모음이다.

바꿔쓰기와 번역. MetaMath(Yu et al., 2023)는 MATH와 GSM-8K의 15,000개 예시를 다양한 방법으로 다시 써서 거의 40만 개 예시의 새 데이터셋을 만들었다. 이 데이터셋으로 학습한 모델이 관련 수학 벤치마크에서 더 큰 모델들보다 좋은 성능을 보였다. AI로 자원이 풍부한 언어의 데이터를 케추아어나 라오어 같은 저자원 언어로 번역해서 저지원 언어 모델 학습을 돕는 것도 흔하다.

역번역(Back Translation). 원래 영어 문장 X를 라오어 Y로 번역한 뒤, 다른 모델로 Y를 다시 영어 X'로 번역해서 X'를 원래 X와 비교한다. 둘이 많이 다르다면 번역본 Y의 품질이 별로일 가능성이 높다.

지시 데이터 합성.

• UltraChat(Ding et al., 2023): 대형 채팅 모델(논문 발표 당시 기준)에 일상생활의 30개 주제와 각 주제별 30~50개 세부 주제를 만들게 한 뒤, 지시와 응답을 생성해 멀티 턴 대화 데이터셋 구축.
• 알파카(Alpaca, Taori et al., 2023): Self-Instruct 시드 데이터셋의 175개 (지시, 응답) 예시를 대형 언어 모델(논문 발표 당시 기준: text-davinci-003)로 확장해 52,000개 쌍 생성.

역지시(Reverse Instruction). AI로 응답을 만들면 응답이 길수록 환각 위험이 높아진다. 반대로 스토리·책·위키백과 글 같은 기존 고품질 콘텐츠를 가져와 AI로 그 콘텐츠를 유도할 수 있는 프롬프트를 생성하면, 응답의 환각 없이 고품질 지시 데이터를 얻을 수 있다(Li et al., 2023):

1. 소수의 초기 예시로 약한 모델을 학습
2. 이 약한 모델로 기존 고품질 콘텐츠에 대한 지시를 생성
3. 새로운 고품질 지시 데이터로 약한 모델을 파인튜닝
4. 원하는 성능에 도달할 때까지 반복

역지시를 사용해서 모델이 더 긴 컨텍스트를 이해하도록 파인튜닝하는 창의적인 방법도 있다. 현재 모델이 8K 토큰을 처리하는데 128K 토큰을 처리하게 하고 싶다면: 긴 문서를 짧은 덩어리로 나누고, 덩어리마다 (질의, 응답) 쌍을 생성하되 원래 긴 문서를 컨텍스트로 사용한다.

라마 3의 코드 합성 파이프라인. 코딩은 기능적으로 평가할 수 있기 때문에 코딩 관련 예시가 많이 합성되는 데이터 중 하나다.

1. AI로 다양한 주제를 다루는 프로그래밍 문제 설명을 대량 생성
2. 문제 설명과 프로그래밍 언어가 주어지면 해결책 생성 (CoT 추론 포함 시 품질 향상)
3. AI로 단위 테스트 생성
4. AI에게 합성된 코드의 오류를 수정하라고 프롬프트 (해결책의 약 20%가 처음에는 틀렸지만 스스로 수정됨)
5. AI로 코드를 다양한 프로그래밍 언어로 번역 (테스트 통과 못 하면 제거)
6. AI로 코드 설명과 문서 작성 포함 대화 생성 (역번역 검증 통과 못 하면 제거)

이 파이프라인으로 270만 개 이상의 합성 코딩 예시를 생성했다(라마 3.1 SFT 기준, Dubey et al., 2024).

참고 — 합성 데이터는 사후 학습에서 훨씬 더 자주 쓰인다. 사전 학습의 목표가 새로운 지식을 늘리는 것인 반면, AI는 기존 지식을 다른 형식으로 합성할 수 있어도 완전히 새로운 지식을 만들기는 어렵기 때문이다.

6. 합성 데이터 검증과 한계

6.1 데이터 검증 방법

기능적 정확성. 코드 실행·역번역으로 프로그래밍 방식으로 검증할 수 있다.

AI 검증기(AI Verifier). - 각 예시에 1~5점 점수 부여 - 각 예시를 좋음/나쁨으로 분류 - 파운데이션 모델에 품질 요구사항 설명 후 충족 여부 판단 - 합성 데이터와 실제 데이터를 구별하기 어려운 정도 측정 - 생성된 논문이 권위 있는 학회(NeurIPS 등)에 채택될지 예측하는 분류기

사실적 불일치 탐지. 4장에서 다룬 사실적 불일치 탐지 기법으로 환각이 들어 있을 가능성이 높은 예시를 걸러낸다.

휴리스틱. Self-Instruct 연구자들(Wang et al., 2022)이 사용한 기준: - 반복적인 예시 - 너무 길거나 너무 짧은 지시 - 같은 지시지만 다른 응답을 가진 예시 - 출력이 입력을 그대로 반복하는 예시

6.2 AI 생성 데이터의 4가지 한계

잘못된 예 (4가지 한계를 무시하는 경우)

• AI 생성 데이터만으로 학습 → 모델 붕괴 위험
• 교사 모델 라이선스 확인 없이 증류 → 저작권 위반 위험
• 피상적 모방 과신 → 환각 증가, 범위 밖 일반화 실패
• 합성 데이터 전체에서 벤치마크 평가 → 데이터 오염으로 결과 신뢰 불가

올바른 예 (4가지 한계를 고려한 접근)

1. 품질 관리 — AI가 생성한 데이터는 품질이 낮을 수 있다. 신뢰할 만한 평가 방법과 지표 개발이 합성 데이터를 더 유용하게 만드는 데 필수다.

2. 피상적 모방(Superficial Imitation)의 한계 — Gudibande 등(2023) 연구에 따르면, 모방 모델들이 교사 모델의 스타일은 잘 모방하지만 사실적 정확성과 학습 데이터 범위 밖 과제에 대한 일반화에서는 어려움을 겪을 수 있다. 더 심각한 것은 모방이 학생 모델에게 환각을 일으키게 할 수 있다는 점이다. 추론 능력을 개선하려면 기본 모델의 품질 향상에 집중해야 한다.

3. 모델 붕괴(Model Collapse) — AI가 생성한 데이터를 반복적으로 학습에 사용하면 모델에 돌이킬 수 없는 결함이 생기고 성능이 떨어진다(Shumailov et al., 2023). "Is Model Collapse Inevitable?"(Gerstgrasser et al., 2024)에서는 학습 데이터 전체가 합성 데이터면 모델 붕괴를 피할 수 없지만, 합성 데이터를 실제 데이터와 섞으면 피할 수 있다고 주장한다. AI 생성 데이터는 편향을 계속 퍼뜨릴 수도 있다(Taori and Hashimoto, 2023).

4. 불분명한 데이터 계보(Data Provenance) — AI 모델은 학습 데이터의 영향을 받고 때로는 사용자도 모르게 그 내용을 출력할 수 있다. 모델 X를 사용해서 자신의 모델 학습 데이터를 만들 때, 모델 X가 저작권을 위반한 데이터로 학습됐다면 자신의 모델도 저작권을 위반할 수 있다. 또한 벤치마크 B로 모델 X를 평가했는데, 모델 X가 벤치마크 B로 학습됐다면 B에서의 평가 결과는 오염된 것이다.

7. 모델 증류

모델 증류(지식 증류)는 작은 학생 모델이 큰 교사 모델을 모방하도록 학습시키는 방법이다(Hinton et al., 2015).

전통적 목표 — 더 작고 빠른 모델. DistilBERT는 BERT 크기를 40% 줄이면서 언어 이해 능력의 97%를 유지하고 60% 더 빠르다(Sanh et al., 2019). 알파카(Taori et al., 2023)는 대형 언어 모델(논문 발표 당시 기준: text-davinci-003)이 생성한 예시로 70억 파라미터 라마 7B를 파인튜닝해, 교사 모델 크기의 4%에 불과하면서도 비슷하게 동작하게 만들었다.

교사보다 뛰어난 학생. 합성 데이터로 학습한다고 해서 모두 모델 증류인 것은 아니다. 엔비디아의 Nemotron-4 340B-Instruct는 훨씬 작은 Mixtral-8x7B-Instruct-v0.1(논문 발표 당시 기준)이 생성한 지시·선호도 데이터로 학습했는데, 다양한 과제에서 교사 모델을 뛰어넘었다. 라마 3 논문에서는 더 뛰어난 모델이 생성한 데이터로 학습하면 모델 성능을 크게 높일 수 있지만, 합성 데이터의 품질을 검증하는 장치 없이 자신이 만든 데이터로 무턱대고 학습하는 건 오히려 성능을 떨어뜨릴 수도 있다고 했다.

주의 — 많은 모델 라이선스가 자신의 출력을 다른 모델, 특히 경쟁 모델 학습에 사용하는 것을 금지한다. 증류 전 라이선스 확인 필수.

8. 데이터 처리

데이터가 많으면 각 처리 단계 하나하나가 몇 시간씩 걸릴 수 있다. 시간과 컴퓨팅 자원을 절약할 수 있는 순서로 처리하라. 원본 데이터의 사본을 항상 보관하고 원본에서 바로 수정하지 말라.

8.1 데이터 검사

데이터를 모은 뒤 가장 먼저 할 일은 데이터를 직접 살펴보는 것이다. OpenAI 공동창립자 그렉 브록맨은 "데이터를 직접 살펴보는 건 아마도 ML의 모든 활동 중 가장 저평가되어 있지만 실제로 매우 가치 있는 활동"이라고 했다.

확인 항목: - 데이터가 어디서 나왔는가? 어떻게 처리됐는가? - 토큰 분포, 입력 길이, 응답 길이 등을 그래프로 그리기 - 주제, 언어 분포 - 이상값 및 그 원인 - 주석자들 간의 의견 차이 - 사실적 정확성, 고유성

마이크로소프트 연구자들(2023)은 (동사, 직접목적어, 명사) 쌍의 분포와 응답 길이를 사용해서 같은 지시 세트에 대한 여러 언어 모델의 생성 결과 차이를 비교했다.

8.2 데이터 중복 제거

중복된 데이터는 데이터 분포를 왜곡하고 편향을 만든다. 앤트로픽 연구(Hernandez et al., 2022)에서는 데이터의 0.1%를 100번 반복하면 나머지 90%의 학습 토큰이 고유해도 8억 파라미터 모델 성능이 4억 파라미터 수준으로 떨어질 수 있다는 것을 보여줬다.

중복의 형태: - 전체 문서 중복: 같은 문서가 여러 번 나타나는 것 - 문서 내 중복: 같은 단락이 한 문서에서 두 번 나타나는 것 - 문서 간 중복: 같은 유명한 인용구가 여러 문서에 나타나는 것

중복 제거 방법:

중복 제거 도구: dupeGuru, Dedupe, datasketch, TextDistance, TheFuzz, deduplicate-text-datasets.

8.3 데이터 정리 및 필터링

• 형식 토큰 제거: 불필요한 HTML 태그, 뒤쪽 공백, 줄바꿈. 데이터브릭스는 불필요한 마크다운과 HTML 토큰을 없애자 모델 정확도가 20% 올라가고 입력 토큰 길이가 60% 줄었다는 것을 발견했다.
• 민감 데이터 제거: PII, 저작권 있는 데이터, 유해 데이터.
• 저품질 데이터 필터링: 주석 작업 후반부에 만든 주석이 품질이 떨어질 수 있다(Kern et al., 2024). 능동 학습 기법으로 모델이 학습하기에 가장 도움이 되는 예시 선택. 좋은 데이터 가지치기 지표를 찾으면 현대 딥러닝의 자원 비용을 크게 줄일 수 있다(Sorscher et al., 2022).

참고 — 중복 제거가 정제보다 오래 걸린다면, 먼저 저품질 데이터를 필터링해 전체 데이터 크기를 줄인 뒤 중복 제거를 하는 것이 효율적이다.

8.4 데이터 형식 맞추기

각 모델은 특정 채팅 템플릿 형식을 기대한다. 잘못된 채팅 템플릿으로 만들면 모델에 이상한 버그가 생길 수 있다. 파인튜닝 후에는 지시에 과제 설명이나 예시가 필요 없어 프롬프트를 훨씬 짧게 만들 수 있다 — 이는 입력 토큰 비용을 줄이는 방법 중 하나다.

잘못된 예 — 형식 불일치: - 학습 데이터: '버거 -->' 형식 - 추론 시: '버거' (끝의 화살표 없음), '항목: 버거' (추가 접두사), '버거 --> ' (뒤에 추가 공백)

올바른 예: 파인튜닝 데이터 형식과 추론 시 프롬프트 형식이 정확히 일치해야 한다.

9. 데이터 중심 AI의 실무 원칙

데이터셋을 만드는 과정은 엄청나게 복잡하지만, 원칙은 놀라울 정도로 단순하다. 모델이 학습했으면 하는 행동을 먼저 생각하고, 그 행동을 보여주는 데이터를 설계한다. 어떤 데이터를 만들지 정의하는 것, 주석 가이드라인 만들기, 세부 사항을 꼼꼼히 챙기는 일은 여전히 사람의 판단이 필요하다.

핵심 개념 정리

실무 체크리스트

• [ ] 데이터 큐레이션 전 모델이 학습했으면 하는 행동을 구체적으로 정의했는가?
• [ ] 데이터 품질 6기준(관련성·작업부합·일관성·형식·고유성·규정준수)을 데이터에 적용했는가?
• [ ] 대규모 투자 전 소규모 데이터셋(50~100개)으로 파인튜닝 효과를 확인했는가?
• [ ] 데이터 크기별 성능 증가 곡선을 그려 추가 데이터 투자 효과를 추정했는가?
• [ ] 파인튜닝 기법(전체 파인튜닝 vs LoRA)에 맞는 데이터 규모를 계획했는가?
• [ ] CoT 데이터 또는 도구 사용 데이터가 필요한 경우 그 특수한 수집 방법을 고려했는가?
• [ ] 사용할 공개 데이터셋의 라이선스와 내부 출처를 확인했는가?
• [ ] 합성 데이터에 기능적 정확성 검증 또는 AI 검증기를 적용했는가?
• [ ] 합성 데이터를 실제 데이터와 혼합해 모델 붕괴 위험을 줄였는가?
• [ ] 증류에 사용할 교사 모델의 라이선스(출력 사용 허용 여부)를 확인했는가?
• [ ] 학습 데이터와 추론 프롬프트의 채팅 템플릿 형식이 일치하는가?
• [ ] 데이터를 직접 살펴보며 이상값과 주석 일관성을 확인했는가?
• [ ] 원본 데이터의 사본을 보관하고 원본에서 직접 수정하지 않았는가?
• [ ] PII, 저작권 있는 데이터, 유해 데이터, 불필요한 HTML 태그를 제거했는가?
• [ ] 데이터 처리 순서를 효율적으로 설계했는가(저품질 필터링 → 중복 제거 순)?
• [ ] 주석 가이드라인이 평가 가이드라인과 일관되는가?

연습문제

1. 개념. 데이터 중심 AI와 모델 중심 AI의 차이를 설명하고, 라마 3 사례를 근거로 현업에서 데이터 중심 접근이 더 효과적인 상황을 구체적으로 서술하라.

2. 적용. 금융 서류에 대한 질의응답 모델을 파인튜닝하려 한다. 데이터 품질 6기준 중 이 과제에서 가장 중요하게 지켜야 할 3가지를 선택하고, 각 기준을 위반했을 때 발생할 수 있는 실제 위험을 구체적으로 설명하라.

3. 분석. 역지시(Reverse Instruction) 기법이 일반 지시 합성 대비 갖는 장점은 무엇인가? Li 등(2023)의 반복적 역지시 부트스트래핑 방법이 작동하는 원리를 단계별로 설명하고, 어떤 유형의 데이터에 특히 유효한지 논하라.

4. 설계. 의료 진단 AI를 위한 데이터셋을 구축한다. 프라이버시 제약이 심하고 희귀 질환 데이터가 부족하다. 합성 데이터 전략(방법 선택·생성 절차), 품질 검증 방법, 그리고 모델 붕괴 방지 방안을 포함한 전체 파이프라인을 설계하라.

5. 분석. 라마 3의 코드 합성 파이프라인 6단계를 설명하고, 각 단계에서 데이터 품질을 보장하는 메커니즘이 무엇인지 분석하라. 이 파이프라인이 코딩 외의 다른 도메인(예: 수학, 법률)에도 적용될 수 있는지 논하고, 적용 가능성이 높은 도메인과 낮은 도메인을 구분하는 핵심 요인을 제시하라.

최신 동향 (2026-05 기준)

최신 동향 (검증 2026-05-21) — 데이터셋 엔지니어링은 변화가 빠른 영역이다. 책의 원칙(데이터 품질 우선)은 유효하되 아래를 보완하라.

• 데이터 품질 우선 (LIMA 법칙). 소량 고품질 데이터가 대량 노이즈를 능가한다는 LIMA 연구가 데이터 큐레이션 표준 사고로 자리잡았다.

• 합성 데이터가 주류 전략으로 부상. 강한 모델로 학습 데이터를 생성·증강하는 방식이 데이터 부족을 메우는 표준 전략이 됐다. Synthetic Data Survey (2024) 참조.

• 대규모 고품질 공개 데이터셋. FineWeb-Edu는 교육적 품질 필터링을 거친 1.3조 토큰의 웹 텍스트 데이터셋으로 사전 학습 성능을 크게 향상시킨다. Dolma는 Allen AI가 공개한 3조 토큰 규모의 사전 학습 코퍼스로, 투명한 데이터 계보를 강조한다. HuggingFace datasets는 파인튜닝·사전 학습용 데이터셋의 사실상 표준 허브로 자리잡았다.

• 품질 필터링·중복 제거가 기본 전처리로 정착. 대규모 코퍼스의 dedup·품질 점수 필터링이 파인튜닝 전 필수 단계로 확립됐다.

부록 A. 용어 사전

부록 B. 핵심 비교표

모델 중심 AI vs 데이터 중심 AI

데이터 합성 방법 비교

실제 데이터 vs 합성 데이터

파인튜닝 데이터 양 결정 가이드

부록 C. 추천 참고 자료

이 책 연계 장

논문·외부 자료

부록 D. 연습문제 풀이

1. (데이터 중심 AI = 모델 고정 후 데이터 개선) 모델 중심 AI는 데이터셋을 고정하고 더 나은 아키텍처·학습 기법을 탐색하는 방식이고, 데이터 중심 AI는 모델을 고정하고 더 좋은 데이터를 만드는 방식이다. 라마 3의 경우 모델 아키텍처는 이전 버전들과 크게 다르지 않지만 데이터 품질과 다양성 개선으로 성능이 향상됐다. DataComp(2023) 경진대회처럼 동일 모델 고정 후 데이터셋 품질을 경쟁하는 방식이 대표 예시다.

2. (금융 QA에서 가장 중요한 3기준: 관련성·일관성·규정준수) 첫째, 관련성 — 금융 서류라는 특정 도메인에 벗어난 데이터가 섞이면(예: 19세기 법률 텍스트) 모델이 비관련 답변을 생성할 위험이 높아진다. 둘째, 일관성 — 동일 서류에 대해 주석자마다 다른 답을 달면 모델이 모순된 패턴을 학습하게 되어 신뢰도가 떨어진다. 셋째, 규정준수 — 금융 서류에는 고객 PII(개인식별정보)와 기밀 정보가 포함될 수 있으므로, 민감 데이터를 학습 데이터에 포함하면 규제 위반 및 데이터 유출 위험이 생긴다.

3. (역지시의 장점: 환각 없는 응답 보장) 일반 지시 합성은 AI가 지시와 응답을 모두 생성하므로, 특히 응답이 길어질수록 AI 환각이 발생할 위험이 높다. 역지시는 스토리·위키백과 글처럼 이미 검증된 고품질 콘텐츠를 응답으로 삼고 AI는 그 콘텐츠를 유도하는 프롬프트만 역생성하므로, 응답의 사실적 정확성이 원본 콘텐츠에 의해 보장된다. Li 등(2023)의 반복적 부트스트래핑은 약한 모델로 역지시를 생성 → 파인튜닝 → 더 좋은 역지시 생성의 순환으로 점점 강력한 모델을 만들 수 있다. 서술 텍스트, 백과사전 항목, 기술 문서처럼 이미 정확한 텍스트 자원이 풍부한 도메인에 특히 유효하다.

4. (의료 AI 데이터 전략: 합성+검증 설계) 프라이버시 제약에는 규칙 기반 합성(Faker로 증상·진단 구조화 데이터 생성)과 데이터 증강을 결합한다 — 실제 익명화 의료 기록에 섭동(노이즈 추가·동의어 치환)을 가해 변형 예시 확보. 희귀 질환은 AI 기반 지시 합성으로 케이스를 의도적으로 생성해 클래스 불균형을 해결한다. 품질 검증은 두 단계: 기능적 정확성 검증(전문의가 기준 답안을 제공한 테스트 케이스로 출력 비교)과 AI 검증기(의료 도메인 특화 채점 모델로 진단 일관성 1~5점 채점). 합성 데이터는 반드시 실제 익명화 데이터와 혼합해 모델 붕괴를 방지한다.

5. (라마 3 코드 파이프라인 6단계 분석) 단계별 품질 보장 메커니즘: (1) 문제 설명 생성 — 다양한 주제 커버리지 확보. (2) 해결책 생성 — CoT 추론 포함으로 응답 품질 향상. (3) 단위 테스트 생성 — 런타임 오류 탐지 준비. (4) 파서·린터 실행 — 문법 오류 자동 탐지. (5) 코드 번역 — 테스트 통과한 코드만 포함. (6) 설명·문서 생성 + 역번역 검증 — 역번역 통과한 설명만 포함. 전체적으로 코드 실행이라는 객관적 기능적 검증이 품질의 핵심이다. 수학(단위 테스트 대신 정답 검증 가능), 논리 추론(검증 가능한 형식) 도메인은 적용 가능성이 높다. 반면 창의적 글쓰기, 감정 분석처럼 객관적 검증 기준이 없는 도메인은 적용 가능성이 낮다 — 기능적 검증 가능성이 핵심 요인이다.